day0: Index

這個系列以 RAG（Retrieval-Augmented Generation）為名，但真正的重點大部分都落在資料處理與驗證。
整體開發會遵循「先求有，再求好」的原則：每個主題先做出一個能動的版本，後續再依需求逐步補強。

為了方便整理，這篇文章列出一個依照「主題」排序的清單，後續每天的內容會依主題展開與補充。

主題清單

1. 獲取 (context, question, answer) 對
2. 搭建 Label Studio，獲得 ground truth
3. RAG baseline 的搭建
4. 驗證框架的探索
5. 提升方法的探索

主題說明

主題 1：獲取 (context, question, answer) 對

說明：
這是整個系列的基礎。沒有 (上下文、問題、答案) 成對資料，後續的 RAG 或驗證根本沒辦法進行。這裡會嘗試三種不同的入口點：

• 從 context 出發：抓文章、逐字稿或段落，再用 LLM 生成問題與答案。
• 從 question 出發：先有問題，再透過搜尋或 LLM 幫你找到上下文與答案。
• 從 answer 出發：先給答案，反推問題與上下文。

Task：如何快速建立一批可用的 QA 對。
Action：實作與比較不同入口方法。

主題 2：搭建 Label Studio，獲得 ground truth

說明：
自動生成的資料不一定可靠，因此需要標註平台來做人工驗證。Label Studio 是一個開源的標註工具，可以幫助我們把 QA 對校正成「ground truth」。只有在具備真實標註資料的情況下，後續才能：

• 驗證 RAG baseline 的表現是否合理
• 測試 LLM as a judge 的準確度（判斷它的評分結果是否可信）

因此 ground truth 不只是「資料清洗」，更是整個驗證框架的基石。

Task：建立一套標註流程，作為後續評估與驗證的基準。
Action：安裝、設定 Label Studio，並嘗試標註幾批 QA 對，建立最小可用的 ground truth。

主題 3：RAG baseline 的搭建

說明：
有了資料與 ground truth 之後，第一個 baseline 系統就是 Naive RAG：簡單的檢索 + 生成，沒有太多優化，但能作為對照組。

Task：建立一個能動的 baseline 系統。
Action：串接檢索（BM25 / 向量檢索）與 LLM 生成，得到最初答案。

主題 4：驗證框架的探索

說明：
RAG 的答案怎麼評估？除了人工比對，還可以設計自動化驗證：

• LLM as a judge（用 LLM 評估答案是否正確）
• 自動指標：precision、recall、faithfulness

Task：找到一種可重複、可量化的驗證方式。
Action：嘗試 LLM as a judge、人工比對，以及混合驗證方法。

主題 5：提升方法的探索

說明：
在 baseline 與驗證完成後，才能談「優化」。這部分分成三個方向：

• Answer Faithfulness：答案是否忠實於上下文
• Context Recall：檢索是否抓到應該有的上下文
• Integration：把檢索、生成、驗證整合成完整 pipeline

Task：探索讓系統產生更高品質答案的方法。
Action：嘗試不同檢索策略（hybrid、reranker）、生成策略（prompt、few-shot）、以及驗證方式。

總結

• 主題 1 → 解決「資料從哪裡來」
• 主題 2 → 解決「資料怎麼確定正確」
• 主題 3 → 解決「最基礎的系統長怎樣」
• 主題 4 → 解決「怎麼知道答案好不好」
• 主題 5 → 解決「怎麼讓系統更好」

詳細內容展開

1. (context, question, answer) 對的獲取
   　1.1 gen from context
   　　- 1.1.1 get context
   　　- 1.1.2 context → (question, answer)
   　1.2 gen from question
   　　- 1.2.1 get question
   　　- 1.2.2 question → (context, answer)
   　1.3 gen from answer
   　　- 1.3.1 get answer
   　　- 1.3.2 answer → question → context
   　　- 1.3.3 answer → context → question

2. 搭建 Label Studio 獲得 ground truth

3. RAG baseline 的搭建

4. 驗證框架的探索

5. 提升方法的探索
   　- Answer Faithfulness
   　- Context Recall
   　- Integration